Компания ASRock сообщила о выпуске программного инструмента AI QuickSet для Linux, который позволяет быстро загружать, устанавливать и настраивать приложения ИИ. Ранее этот софт был доступен только для Windows 10/11.

AI QuickSet предоставляет удобный и понятный интерфейс для поиска, скачивания, установки и конфигурирования различных ИИ-средств и компонентов (вроде TensorFlow и PyTorch), а также специализированных библиотек.

В процессе работы AI QuickSet запрашивает у пользователя параметры функционирования ИИ-приложения или активирует конфигурацию по умолчанию. Это, как заявляется, гарантирует оптимальную работу программ, а пользователям не приходится углубляться в сложные ручные настройки.

Linux-версия AI QuickSet совместима с Ubuntu 22.04.3 Desktop. Говорится, что инструмент задействует возможности ускорителей AMD серии Radeon RX 7900 и программного стека AMD ROCm. Поддерживаются различные приложения и модели open source, включая Image/Manga Translator, Stable Diffusion CLI, Ultralytics YOLOv8 и др.

Источник изображения: ASRock

Для использования AI QuickSet необходим компьютер с процессором Intel Core 14/13-го поколения или AMD Ryzen серий 7000/5000. Говорится о совместимости с материнскими платами Intel серии 700/600 и AMD серии 600/500. Объём оперативной памяти должен составлять не менее 32 Гбайт. Требуется наличие ускорителя ASRock AMD Radeon серии RX 7000 (версия для Windows) или AMD Radeon серии RX 7900 (вариант для Linux).

Корпорация Cisco объявила о заключении соглашения по покупке стартапа Isovalent, специализирующегося на разработке сетевых решений open source для обеспечения безопасности, в том числе в облачных средах. Финансовые условия сделки не раскрываются. Isovalent является участником проекта eBPF (extended Berkeley Packet Filter), нацеленного на использование возможностей ядра Linux для мониторинга активности, обнаружения проблем с производительностью и выявления рисков безопасности различных рабочих нагрузок.

Кроме того, Isovalent принимает участие в двух других проектах open source: Cilium и Tetragon. Первый помогает управлять потоками сетевого трафика между контейнерами, а второй дополняет Cilium, предоставляя дополнительные возможности кибербезопасности. Стартап недавно представил решение Cilium Mesh, которое позволяет подключать кластеры Kubernetes к существующей инфраструктуре в гибридных облаках.

Источник изображения: Cisco

Cisco намерена использовать технологии Isovalent для расширения своего набора сервисов в области кибербезопасности. Речь идёт о развитии концепции Cisco Security Cloud — интегрированной облачной платформы безопасности на базе ИИ для организаций любого размера. Данная система позволяет клиентам отделить средства управления безопасностью от мультиоблачной инфраструктуры, обеспечив защиту от возникающих угроз в любом облаке, приложении или рабочей нагрузке. Cisco планирует объединить Cilium Mesh со своими программно-определяемыми сетевыми продуктами.

Корпорация Cisco намерена завершить сделку по поглощению Isovalent в III четверти 2024 финансового года, который закончится 27 июля. После этого сотрудники стартапа присоединятся к подразделению Cisco Security Business Group.

Центр Big Data МТС объявил о разработке первой в России библиотеки, позволяющей создавать графовые нейросети. Пакет получил название CoolGraph, а его исходники доступны всем желающим на площадке GitHub по лицензии MIT, которая в числе прочего позволяет использовать код в закрытом софте.

Отмечается, что в CoolGraph специалисты Big Data МТС собрали свои лучшие наработки в области построения кастомных моделей. Библиотека даёт возможность легко задать архитектуру сети и автоматически подобрать гипер-параметры.

Источник изображения: pixabay.com

Среди ключевых преимуществ CoolGraph названы: быстрый запуск с помощью двух строк кода, хорошее качество базовых моделей, поддержка гетерогенных графов и автоматизированный поиск оптимальных параметров через фреймворк Optuna. Отслеживать результаты экспериментов можно в MLFlow. Параметры для обучения собраны в конфигурационных файлах, но разработчики смогут менять их по своему усмотрению.

Говорится, что библиотека CoolGraph предназначена как для экспертов, так и для начинающих специалистов в области глубокого обучения нейросетей, имеющих доступ к данным графов. На их основе разработчики смогут строить различные модели. В дальнейшем центр Big Data МТС намерен пополнять библиотеку. Кроме того, будет открыт доступ к другим компонентам.

«Для достижения прорывов в области машинного обучения необходимо большое количество талантливых людей, экспериментирующих с технологиями. Наша библиотека решает эту задачу за счёт снижения порога входа в графовые нейросети», — говорит директор центра Big Data МТС.

Mozilla представила первый релиз инструмента llamafile, позволяющего упаковать веса большой языковой модели (LLM) в исполняемый файл, который без установки можно запустить практически на любой современной платформе, причём ещё и с поддержкой GPU-ускорения в большинстве случаев. Это упрощает дистрибуцию и запуск моделей на ПК и серверах.

llamafile распространяется под лицензией Apache 2.0 и использует открытые инструменты llama.cpp и Cosmopolitan Libc. Утилита принимает GGUF-файл с весами модели, упаковывает его и отдаёт унифицированный бинарный файл, который запускается в macOS, Windows, Linux, FreeBSD, OpenBSD и NetBSD. Готовый файл предоставляет либо интерфейс командной строки, либо запускает веб-сервер с интерфейсом чат-бота.

Источник: GitHub / Mozilla Ocho

Поддерживаются платформы x86-64 и ARM64, причём в первом случае автоматически определяется тип CPU и по возможности используются наиболее современные векторные инструкции. llamafile может использовать ускорители NVIDIA, а в случае платформы Apple задействовать Metal. Разработчики успешно протестировали инструмент в Linux (в облаке Google Cloud) и Windows с картой NVIDIA, в macOS и на NVIDIA Jetson.

Впрочем, некоторые нюансы всё же есть. Так, в Windows размер исполняемого файла не может превышать 4 Гбайт, поэтому большие модели вынужденно хранятся в отдельном файле. В macOS на платформе Apple Silicon перед первым запуском всё же придётся установить Xcode, а в Linux, возможно, понадобится обновить некоторые компоненты. Подробности и примеры готовых моделей можно найти в репозитории проекта.

Microsoft объявила, что набор средств разработки встраиваемых решений Azure RTOS, включающий операционную систему реального времени (ОСРВ) ThreadX, был переведён в категорию решений с открытым исходным кодом под именем Eclipse ThreadX и теперь будет развиваться под эгидой организации Eclipse Foundation.

В Eclipse Foundation заявили, что новый проект — «именно то, в чём очень давно нуждался сильно фрагментированный рынок встраиваемого ПО». ThreadX станет первой в мире open source ОСРВ, которая:

• Отличается зрелостью и масштабируемостью — ThreadX разрабатывалась более 20 лет, в настоящее время установлена на более чем 12 млрд устройств по всему миру и высоко ценится как высокопроизводительная, высокодетерминированная ОСРВ.
• Доступна под разрешающей открытой лицензией MIT.
• Регулируется open source фондом Eclipse Foundation, что гарантирует нейтральную модель управления развитием и устойчивостью ThreadX.
• Сертифицирована на защищённость и безопасность. ThreadX соответствует стандартам IEC 61508, IEC 62304, ISO 26262 и EN 50128, что подтверждено SGS-TÜV Saar. ThreadX также получила сертификат безопасности по стандартам Common Criteria EAL4+.

Отмечается, что в настоящее время нет аналогичных ОСРВ с открытым исходным кодом, имеющих подобную сертификацию и перечисленные преимущества.

Источник изображения: Microsoft

Проект Eclipse ThreadX станет доступен в I квартале 2024 года и будет включать ThreadX, NetX Duo, FileX, GUIX, USBX, LevelX, а также соответствующие инструменты и документацию. Microsoft предоставит проекту самые последние сертификаты, чтобы обеспечить непрерывность выпуска сертифицированных релизов. Фонд Eclipse Foundation объявил о создании группы, занимающейся разработкой модели устойчивого финансирования ThreadX, которую согласились поддержать AMD, Cypherbridge, Microsoft, NXP, PX5, Renesas, ST Microelectronics, Silicon Labs и Witekio (Avnet).

Некоммерческая организация Linux Foundation объявила о намерении сформировать «Фонд высокопроизводительного программного обеспечения »(High Performance Software Foundation, HPSF). Задачами данной структуры станут создание и продвижения стека ПО для НРС-приложений.

Предполагается, что появление HPSF будет способствовать ускорению решения задач в области НРС и ИИ. Фонд намерен предоставить «нейтральное пространство» для ключевых проектов в экосистеме HPC ПО. Участники отрасли, научные организации и госструктуры смогут сообща работать над софтверным стеком.

Источник изображения: Linux Foundation

Сообщается, что в деятельности HPSF примут участие Аргоннская национальная лаборатория, Национальная лаборатория им. Лоуренса в Беркли, Ливерморская национальная лаборатория, Лос-Аламосская национальная лаборатория, Окриджская национальная лаборатория и Сандийские национальные лаборатории (все входят в состав Министерства энергетики США), а также AWS, CIQ, HPE, Intel, Kitware, NVIDIA и др.

Фонд планирует использовать инвестиции, сделанные проектом Exascale Computing Project (ECP) Министерства энергетики США, совместным предприятием EuroHPC JU и другими международными структурами. На первом этапе в программный стек HPSF войдут open source решения Spack, Kokkos, AMReX, WarpX, Trilinos, Apptainer, VTK-m, HPCToolkit, E4S и Charliecloud.

До начала следующего года HPSF планирует проводить встречи с участниками для согласования структуры и схемы управления. Ожидается, что фонд будет официально сформирован в мае 2024 года.

Компания «Базальт СПО», занимающаяся разработкой российских ОС на базе Linux, Некоммерческое партнёрство разработчиков программного обеспечения «Руссофт» и Палата Индо-Российского технологического сотрудничества (CIRTC) подписали меморандум о взаимопонимании в рамках инициативы Российско-Индийской группы по особым интересам (RISING).

Стороны намерены сотрудничать по нескольким направлениям. Одно из них — создание суверенной и безопасной индийской ОС на основе решений с открытым исходным кодом. В рамках данного проекта планируется поддержка независимого репозитория и технологий для обеспечения производства защищенных дистрибутивов.

Кроме того, участники инициативы изучат жизненный цикл безопасной разработки; оценят существующие и потенциальные угрозы и уязвимости; разработают план совместных инициатив Индии и России по построению всеобъемлющей и суверенной инфраструктуры безопасной разработки; выработают рекомендации по политикам обеспечения кибербезопасности.

Источник изображения: «Базальт СПО»

Отмечается, что индийские партнёры заинтересованы в инструментах и технологиях «Базальт СПО». Стороны намерены проводить исследования в области архитектуры кибербезопасности. Будет также выработан план совместных инициатив Индии и России по созданию суверенной инфраструктуры безопасной разработки.

«Объединив опыт и компетенции "Базальт СПО" в области технологий с одной стороны, и возможности индийских компаний по разработке программных продуктов с другой, мы сможем создавать инновационные решения не только для Индии и России, но и других стран», — отметил Сергей Трандин, генеральный директор «Базальт СПО».

Открытая архитектура RISC-V, сегодня доступная любым разработчикам микрочипов, может исчезнуть из свободного доступа по инициативе США. Американские власти рассматривают возможность ограничить недружественным компаниям участие в международных сообществах RISC-V. Как сообщает «Коммерсантъ», это может создать проблемы российскому бизнесу, планирующему выпускать продукцию на соответствующей архитектуре. Ранее отечественные компании, например, отлучили от OpenRAN.

Открытая архитектура RISC-V появилась в Калифорнийском университете в Беркли и сегодня может использоваться совершенно свободно и бесплатно, в том числе в коммерческих проектах. Хотя в современных продуктах ядра RISC-V чаще предназначены для задач, требующих невысокой производительности, считается, что архитектура имеет большой потенциал для борьбы с x86 или Arm. Для синхронизации работ представители компаний участвуют в альянсах, крупнейшим из которых является RISC-V International. Несколько лет назад альянс «переехал» из США в Швейцарию из-за опасений возможных ограничений со стороны Вашингтона.

Источник изображения: Brian Kostiuk/unsplash.com

По данным СМИ, получившим доступ к подготовленной «Альянсом RISC-V» программой развития архитектуры RISC-V в России, к 2025 году отечественные разработчики чипов выпустят прототипы высокопроизводительных процессоров на данной архитектуре, а после 2026 года может начаться уже серийное производство таких чипов. В альянс входят «Байкал Электроникс», «Синтакор», «Аквариус» и ряд других крупных компаний. По данным отраслевых источников, производством подобных чипов могут заняться, например, Yadro и «Байкал Электроникс».

Прямо сейчас ряд американских конгрессменов требует ввести в отношении архитектуры экспортные ограничения. Хотя в первую очередь политики озабочены использованием RISC-V в китайских проектах, под вопросом может оказаться участие в международных альянсах российских разработчиков. При этом именно такие объединения задают общие стандарты. Если технические комитеты подобных альянсов перестанут принимать представителей российских дизайн-центров, разработка будет осложнена и последним придётся, как минимум, соблюдать стандарты, принятые без их участия.

Впрочем, эксперты допускают использование обходных путей для сохранения присутствия в подобных объединениях. Некоторые утверждают, что достаточно будет создать промежуточное юридическое лицо на нейтральной территории вроде Гонконга. При этом сама RISC-V International заявила, что попытки ограничений со стороны правительств затормозят появление новых, улучшенных чипов и отбросят назад глобальную технологическую отрасль.

Компания NVIDIA анонсировала программное обеспечение TensorRT-LLM с открытым исходным кодом, специально разработанное для ускорения исполнения больших языковых моделей (LLM). Платформа станет доступна в ближайшие недели.

Отмечается, что NVIDIA тесно сотрудничает с такими компаниями, как Meta✴, Anyscale, Cohere, Deci, Grammarly, Mistral AI, MosaicML (входит в состав Databricks), OctoML, Tabnine и Together AI, для ускорения и оптимизации LLM. Однако большой размер и уникальные характеристики LLM могут затруднить их эффективное внедрение. Библиотека TensorRT-LLM как раз и призвана решить проблему.

Источник изображений: NVIDIA

ПО включает в себя компилятор глубокого обучения TensorRT, оптимизированные ядра (kernel), инструменты предварительной и постобработки, а также компоненты для повышения производительности на ускорителях NVIDIA. Платформа позволяет разработчикам экспериментировать с новыми LLM, не требуя глубоких знаний C++ или CUDA. Применяется открытый модульный API Python для определения, оптимизации и выполнения новых архитектур и внедрения усовершенствований по мере развития LLM.

По оценкам NVIDIA, применение TensorRT-LLM позволяет вдвое увеличить производительность ускорителя H100 в тесте GPT-J 6B (входит в состав MLPerf Inference v3.1). При использовании модели Llama2 прирост быстродействия по сравнению с А100 достигает 4,6x. TensorRT-LLM уже включает полностью оптимизированные версии многих популярных LLM, включая Meta✴ Llama 2, OpenAI GPT-2 и GPT-3, Falcon, Mosaic MPT, BLOOM и др.

Софт TensorRT-LLM использует тензорный параллелизм — тип параллелизма моделей, при котором отдельные весовые матрицы разделяются между устройствами. При этом TensorRT-LLM автоматически распределяет нагрузка между несколькими ускорителями, связаннными посредством NVLink, или множественными узлами, объединёнными NVIDIA Quantum 2 InfiniBand. Это позволяет легко масштабировать задачи инференса с одного ускорителя до целой стойки.

Для управления нагрузками TensorRT-LLM использует специальный метод планирования — пакетную обработку в реальном времени, которая позволяет асинхронно обслуживать множество мелких запросов совместно с единичными большими на одном и том же ускорителе. Эта функция доступна для всех актуальных ускорителей NVIDIA, причём именно она даёт двукратный прирост производительности инференса в случае H100.

Наконец, конкретно в случае H100 библиотека активно использует возможностиTransformer Engine, позволяющего динамически привести вычисления к FP8-формату, что ускоряет и обработку и снижает потребление памяти без ухудшения точности итогового результата. Одна эта функция позволяет добиться четырёхкратного прироста быстродействия H100 в сравнении с A100.

Компания Sylabs, занимающаяся разработкой программного обеспечения для HPC-систем, обвинила соперника Ctrl IQ (CIQ) и её основателя Грега Курцера (Greg Kurtzer), который наиболее известен созданием CentOS, в краже данных, составляющих коммерческую тайну. Как сообщает The Register, компания считает, что эта информация позволила главе CIQ основать свой бизнес, хотя тот называет обвинения беспочвенными.

Иск был подан в Калифорнии ещё в феврале этого года, но материалы по нему стали доступны публике тольком летом. Курцер ранее работал главой Sylabs, но в марте 2020 года основал собственную компанию CIQ, которая в числе прочего также занимается технологиями, связанными с HPC-решениями. Одним из важных проектов CIQ является спонсорство разработки ОС Rocky Linux.

Изображение: CIQ

Основным проектом Sylabs является открытая контейнерная платформа Singularity. При этом разработчик предлагает и смежные платные продукты и сервисы — именно с ними связан иск к CIQ и Курцеру. Sylabs обвиняет Курцера и некоторых других его коллег в скоординированном увольнении в марте 2020 года. Причём некоторые из бывших сотрудников Sylabs, как предполагается, незадолго до официального ухода «навестили» серверы работодателя и похитили интеллектуальную собственность.

Sylabs утверждает, что разрабатывала проприетарную коммерческую технологию Fuzzball для управления HPC-системами, но Курцер якобы присвоил её и сделал доступной в формате open source специально для того, чтобы ей могла бесплатно пользоваться созданная им CIQ. При этом последняя подала заявки на регистрацию патентов как на Fuzzball, так и на ещё одну технологию Sylabs — Armored Containers для защиты контейнеров.

Истцы утверждают, что соответствующие технологии они разрабатывали ещё в 2019 году — и этому есть доказательства. Дополнительно Курцер, возможно, скачивал документы компании, связанные с процессом продаж и даже перенаправлял запросы на покупку ПО на личные почтовые адреса до своего увольнения 1 апреля 2020 года. В ряде правонарушений обвиняются и другие сотрудники, а также компании OpenDrives и IAG Capital Partners, которые, инвестировали в CIQ, якобы понимая, что новая компания ведёт дела недобросовестно.

Изображение: CIQ

По словам представителя Sylabs, Курцер и его соратники замешаны в краже у Sylabs интеллектуальной собственности, сведений, составляющих коммерческую тайну, корпоративных секретов, конфиденциальной информации о персонале, клиентах и партнёрах. Также Курцер опубликовал интеллектуальную собственность Sylabs как ПО с открытым кодом, которое и стало базой для создания продуктов CIQ, в результате привлёкшей $33 млн инвестиций. Наконец, попытки получения патентов в США также незаконны, считает Sylabs.

В CIQ отвергают все обвинения, заявляя, что речь идёт всего лишь о зависти конкурента — CIQ якобы добилась большего успеха, чем Sylabs. Отмечается, что Курцером и его единомышленниками при увольнении было заключено соглашение, согласно которому Sylabs не возражала против основания компании с независимо разработанным ПО и отказывалась от претензий в будущем. CIQ действительно активно развивается — компания в конце прошлого месяца анонсировала партнёрскую программу.